Avec notre échantillon de \(n\) observations, quelle confiance donner à l’estimation des coefficients \(a\) et \(b\) ?
Ce qu’il faut retenir de ce cours
Modélisation probabiliste du modèle linéaire
\(y_i\) est la réalisation d’une variable aléatoire \(Y_i\) telle que pour \(1 \leq i \leq n\): \[Y_i = \alpha x_i + \beta + E_i, \quad E_i\overset{i.i.d.}\sim{\cal N}(0,\sigma^2) \]
Valider les hypothèses du modèle avec les 4 graphes de diagnostic
Modèle linéaire simple : théorie
Données
On a \(n = 20\) observations.
Pour \(1 \leq i \leq n\):
\(x_i\) : longueur du poisson \(i\).
\(y_i\) : poids du poisson \(i\).
fish <-read.table(file ="fish_linsimple.csv",sep =";", header =TRUE)kable(fish[1:5,])
Poids
Longueur
242
23.2
290
24.0
340
23.9
363
26.3
430
26.5
summary(fish)
Poids Longueur
Min. :242.0 Min. :23.20
1st Qu.:383.2 1st Qu.:26.73
Median :487.5 Median :28.45
Mean :481.5 Mean :27.92
3rd Qu.:600.0 3rd Qu.:29.43
Max. :700.0 Max. :31.00
ggplot(fish, aes(x = Longueur, y = Poids)) +geom_point()
Écriture du modèle
Notations
On a \(n=20\) observations. On note, pour \(1 \leq i \leq n\)
\(x_i\) la mesure de la longueur du poisson \(i\).
\(y_i\) la mesure du poids du poisson \(i\).
Définition : Modèle de régression linéaire simple
On suppose que \(y_i\) est la réalisation d’une variable aléatoire \(Y_i\) telle que pour \(1 \leq i \leq n\): \[Y_i = \alpha x_i + \beta + E_i\] où
\(\alpha\) est un paramètre inconnu;
\(\beta\) est un paramètre inconnu;
\(E_i\) une variable aléatoire appelée erreur résiduelle.
Dans notre exemple, \(\alpha\) est l’effet de la longueur sur le poids.
Modélisation de l’erreur résiduelle
Définition : Modèle de régression linéaire simple
\(E_i\) une variable aléatoire appelée erreur résiduelle , telle que:
Toutes les variables aléatoires \(E_1,\dots, E_n\) sont indépendantes;
Tous les \(E_i\) ont la même espérance, égale à 0;
Tous les \(E_i\) ont la même variance, égale à \(\mathbf{\sigma^2}\) (paramètre inconnu);
Tous les \(E_i\) suivent une loi normale;
\(\Rightarrow\) les \(E_i\) sont indépendants et identiquement distribués de loi \(\mathcal{N}(0, \sigma^2)\)
On notera directement \(E_i\overset{i.i.d.}\sim{\cal N}(0,\sigma^2)\)
Aléatoire ou pas ?
Remarques
\[\color{red}{Y_i} = {\color{blue}{\underbrace{\alpha x_i + \beta}_{{déterministe}{}}}} + \color{red}{\overbrace{E_i}^{aléatoire}}, 1 \leq i \leq n \]
où
\(\color{red}{Y_i}\) réponse aléatoire pour l’unité \(i\)
\(\color{blue}{x_i}\) valeur non-aléatoire de \(x\) pour l’unité \(i\)
\(\color{blue}\alpha\) est un paramètre inconnu, l’effet de la longueur sur le poids;
\(\color{blue}\beta\) est un paramètre inconnu;
\(\color{red}{E_i}\) une variable aléatoire appelée erreur résiduelle les \(\color{red}{E_i}\) sont indépendants et identiquement distribués de loi \(\mathcal{N}(0, \sigma^2)\)
Autre formulation du modèle linéaire
Remarques
Le modèle
\[Y_i = \alpha x_i + \beta + E_i,\quad 1 \leq i \leq n, \quad E_i\overset{iid}\sim \mathcal{N}(0,\sigma^2)\] est équivalent à
Les \(Y_i\) sont indépendants et \(Y_i \sim \mathcal{N}(\)\(\alpha x_i +\beta, \sigma^2\)\(), \; 1 \leq i \leq n\)
\(x\) n’influe que sur la moyenne et pas sur la variance de \(Y\)
\(Y_i\) se décompose en
Une partie fixe expliquée par le modèle:
Une partie aléatoire non expliquée par le modèle
Exemple de modélisation linéaire simple
On a \(n=20\) observations. On note, pour \(1 \leq i \leq n\)
\(x_i\) la mesure de la longueur du poisson \(i\).
\(y_i\) la mesure du poids du poisson \(i\).
On suppose que \(y_i\) est la réalisation d’une v. a. \(Y_i\) telle que pour \(1 \leq i \leq n\): \[Y_i = \alpha x_i + \beta + E_i \quad \text{avec} \quad E_i\overset{i.i.d.}\sim{\cal N}(0,\sigma^2)\]
\(a\) et \(b\) sont les coefficients de la droite des moindres carrés.
Modèle linéaire avec R
modele_reg_simple <-lm(Poids~ Longueur, data = fish)coef(modele_reg_simple)
(Intercept) Longueur
-876.48191 48.63832
\(a =\)48.6383206 et \(b =\)-876.4819101
Estimateur de la variance des résidus
Définition
\(\widehat{Y_i}=Ax_i+B\), la prévision (aléatoire) par le modèle de régression linéaire associée à \(x_i\).
\(S^2\)estimateur de \(\sigma^2\) : variance empirique \[\color{red}{S^2=\frac{1}{n-2}\sum_{i=1}^n(Y_i-\widehat{Y_i})^2=\frac{1}{n-2}\sum_{i=1}^n(Y_i-Ax_i-B)^2}\]
Estimation de \(\sigma^2\) : réalisation \(s^2\) de \(S^2\) sur les données \[\color{blue}{s^2=\frac{1}{n-2}\sum_{i=1}^n(y_i-ax_i-b)^2=\frac{1}{n-2}\sum_{i=1}^n \widehat{e}_i^2}\] où \(\widehat{e}_i = y_i - ax_i -b\) sont les résidus observés.
Modélisation des données avec R
summary(modele_reg_simple)
Call:
lm(formula = Poids ~ Longueur, data = fish)
Residuals:
Min 1Q Median 3Q Max
-218.349 -22.040 -5.274 46.515 97.877
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -876.482 198.380 -4.418 0.000332 ***
Longueur 48.638 7.082 6.868 2e-06 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 71.27 on 18 degrees of freedom
Multiple R-squared: 0.7238, Adjusted R-squared: 0.7084
F-statistic: 47.16 on 1 and 18 DF, p-value: 2.004e-06
Les résidus observés permettent de valider les hypothèses du modèle linéaire:
\(E_i\) une variable aléatoire appelée résidu, telle que:
Toutes les variables aléatoires \(E_1,\dots, E_n\) sont indépendantes;
Tous les \(E_i\) ont la même espérance, égale à 0;
Tous les \(E_i\) ont la même variance, égale à \(\mathbf{\sigma^2}\) (paramètre inconnu);
Tous les \(E_i\) suivent une loi normale;
Validation des hypothèses
Hypothèse d’indépendance: Elle doit être validée par le plan d’expérience !
Distribution identique, de loi normale: Ces hypothèses doivent être vérifiées grâce aux \(\widehat{e}_i = y_i - \widehat{y_i}\).
En pratique: diagnostic graphique des résidus
4 graphes de diagnostic
par(mfrow =c(2,2))plot(modele_reg_simple)
Distribution identique, espérance constante et nulle
Ce qu’on regarde: Les résidus observés \(\widehat{e}_i\) en fonction des prédictions \(\widehat{y}_i\).
✅
Ce qu’on voit: La valeur des résidus ne semble pas dépendre de la valeur des prédictions (il ne sont donc pas structurés en fonction de la prédiction). Ils sont globalement identiquement distribués autour de 0.
Ce qu’on conclut: On valide l’hypothèse d’espérance constante et égale à 0.
❌
Ce qu’on voit: Les valeurs des résidus dépendent de la valeur des prédictions (il sont donc structurés en fonction de la prédiction).
Ce qu’on conclut: On ne valide pas l’hypothèse d’espérance constante et égale à 0.
Distribution identique, variance constante
Ce qu’on regarde: la racine carrée de la valeur absolue des résidus (standardisés) observés en fonction des prédictions \(\widehat{y}_k\).
✅
Ce qu’on voit: la racine carrée de la valeur absolue des résidus ne semble pas dépendre de la valeur des prédictions (il ne sont donc pas structurés en fonction de la prédiction). Ils sont globalement identiquement distribués autour de 0.8.
Ce qu’on conclut: On valide l’hypothèse de variance constante.
❌
Ce qu’on voit: la racine carrée de la valeur absolue des résidus dépend de la valeur des prédictions (il sont donc structurés en fonction de la prédiction).
Ce qu’on conclut: On ne valide pas l’hypothèse de variance constante.
Distribution normale
Ce qu’on regarde: La valeur des quantiles empiriques des résidus standardisés en fonction de la valeur quantiles théoriques d’une loi normale \(\mathcal{N}(0 ,1)\).
✅
Ce qu’on voit: Les points sont globalement alignés sur la droite \(y = x\). Les quantiles empiriques sont donc à peu près égaux aux quantiles théoriques (si les hypothèses du modèle sont vraies).
Ce qu’on conclut: On valide l’hypothèse de distribution normale des résidus.
❌
Ce qu’on voit: Les points ne sont pas globalement alignés sur la droite \(y = x\). Les quantiles empiriques sont donc différents des quantiles théoriques.
Ce qu’on conclut: On ne valide pas l’hypothèse de distribution normale des résidus.
Points influents ou aberrants
Ce qu’on regarde: La valeur des résidus (standardisés) en fonction du levier de l’observation (poids d’une observation dans l’estimation de sa prédiction).
✅
Ce qu’on voit: Les points ont tous un petit levier, donc aucun point n’influe trop sur la droite. Aucun point n’est en dehors de l’enveloppe délimitée par les hyperboles rouges, représentant les lignes de niveau 0.5 de la distance de Cook.
Ce qu’on conclut: Aucun point n’est aberrant ou trop influent.
❌
Ce qu’on voit: Un point est en dehors de l’enveloppe délimitée par les hyperboles rouges, représentant les lignes de niveau 0.5 de la distance de Cook.
Ce qu’on conclut: Il y a un point aberrant dans les données.
4 graphes
Donc on valide les hypothèses du modèle pour notre exemple.
On peut maintenant tester la pertinence du modèle.
Tests de linéarité
Ce qu’il faut retenir de ce cours 1/3
Lois des estimateurs
\[\frac{(A-\alpha)}{S_A}\sim \mathcal{T}{(n-2)}\mbox{ et }\frac{(B-\beta)}{S_B}\sim \mathcal{T}{(n-2)}\]
Degrés de libertés (Degrees of freedom) : Le nombre d’observations moins le nombre de paramètres d’espérance à estimer.
Dans le cadre du modèle linéaire simple le nombre de paramètre d’espérance à estimer est 2.
On a \(n\) observations le nombre de degrées de libertés est donc : \(n-2\)
Propriété et loi de l’estimateur \(S^2\):
Théorème
\(S^2\) est un estimateur sans biais de \(\sigma^2\) et on a
\[\frac{(n-2)S^2}{\sigma^2}=\frac{\sum_{i=1}^n(Y_i-Ax_i-B)^2}{\sigma^2}\sim\chi^2(n-2)\] De plus \(S^2\) est indépendant de \(A\), \(B\) et \(\bar{Y}\)
Propriétés et loi des estimateurs \(A\) et \(B\)
Théorème
\(A\) et \(B\) sont des estimateurs sans biais et consistants de \(\alpha\) et \(\beta\). \(A\) et \(B\) suivent des lois normales d’espérance \(\alpha\) et \(\beta\), et de variance
\[\begin{align}
Var(A)&=\frac{\sigma^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\\
& \\
Var(B)&=\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right)
\end{align}\] Si on remplace \(\sigma^2\) par \(S^2\) pour obtenir des estimateurs des variances
\[\begin{align}
S^2_A&=&\frac{S^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\mbox{ et } S^2_B=S^2\left(\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right)
\end{align}\]
on a
\[\frac{(A-\alpha)}{S_A}\sim \mathcal{T}{(n-2)}\mbox{ et }\frac{(B-\beta)}{S_B}\sim \mathcal{T}{(n-2)}\]
Intervalle de confiance aléatoire de \(\alpha\) et \(\beta\)
Théorème
A partir des lois de \(A\) et \(B\), on obtient:
Intervalles de confiance aléatoire des estimateurs de niveau \(1-\delta\) de \(\alpha\) et \(\beta\)
\(SCR(M_{\color{red}{1}}) - SCR(M_{\color{red}{2}})\) : différence des variances non expliquées par les modèles.
\((2-1)\) : différence du nombre de paramètres.
\(SCR(M_1)\geq SCR(M_2)\) (toujours !).
Remarque sur le test de Fisher
Remarques
Le test répond à la question : la droite des moindres carrés \(y=ax+b\) (modèle \(M_2\) estimé) explique mieux le nuage de points que la droite horizontale \(y=b\) (modèle \(M_1\) estimé), mais le gain est-il significatif ?
\(SCR(M_1)\geq SCR(M_2)\)
On n’abandonnera \(M_1\) pour que \(M_2\) que si la réduction d’erreurs en passant du “petit” modèle \(M_1\) au “grand” modèle \(M_2\) est significative.
L’introduction de la pente a permis d’expliquer \(SCM=SCR(M_1)-SCR(M_2)\) et a laissé inexpliquée \(SCR(M_2)\).
Autre méthode: test de Fisher avec R
mod1 <-lm(Poids~1, data = fish)summary(mod1)
Call:
lm(formula = Poids ~ 1, data = fish)
Residuals:
Min 1Q Median 3Q Max
-239.50 -98.25 6.00 118.50 218.50
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 481.50 29.51 16.31 1.25e-12 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 132 on 19 degrees of freedom
Autre méthode: test de Fisher avec R
anova(mod1,modele_reg_simple)
Analysis of Variance Table
Model 1: Poids ~ 1
Model 2: Poids ~ Longueur
Res.Df RSS Df Sum of Sq F Pr(>F)
1 19 331013
2 18 91435 1 239578 47.163 2.004e-06 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Lien entre les deux tests
Remarques
Test de Student : \(T^S_{n}=\frac{A}{S_A}\overset{H_0}\sim \mathcal{T}(n-2)\)
Test de Fisher : \(T^F_{n}=\displaystyle\frac{SCM/1}{SCR/(n-2)}\overset{H_0}\sim \mathcal{F}(1,n-2)\).
procédure équivalente : \(\left(T^S_{n,1}\right)^2=T^F_{n}\) et la loi du carré d’une variable aléatoire \(\mathcal{T}(n-2)\) est une loi de Fisher \(\mathcal{F}(1,n-2)\)
Qualité d’ajustement du modèle
Coefficient de détermination
Définition : Coefficient de détermination
On appelle le coefficient de détermination \(R^2\) la proportion de la variabilité de \(Y\) expliquée par le modèle. Cette proportion est donnée par
\[R^2 = \frac{SCM}{SCT}\]
On a \(0\leq R^2\leq 1\). Plus \(R^2\) est proche de \(1\), meilleur est l’ajustement.
Si la qualité d’ajustement est mauvais on ne peut pas espérer avoir une bonne prédiction.
Visualisation : Coefficient de détermination
Modèle avec pente significative.
\[R^2 = 0.8395522\]
Modèle sans pente significative.
\[R^2 = 0.0353026\]
Prévision: intervalles de confiance et de prédiction
Prévision
Données \((x_i,y_i)_{i=1,\cdots,n}\) modélisées par \[Y_i=\alpha x_i+\beta +E_i,\quad E_i\overset{i.i.d.}\sim{\cal N}(0,\sigma^2)\]
Problématique
Etant donnée une valeur \(x_0\) de \(x\) pour laquelle on n’a pas observé \(y_0\), construire une prévision de ce \(y_0\) non disponible
prévision intuitive par droite des moindres carrées de \(y_0\) : \(\widehat{y_0}=ax_0+b\)
Quel sens lui donner ? Quelle qualité ?
Prévision
\({\widehat y}_0 = ax_0 +b\) est une réalisation de la variable aléatoire \(\widehat{Y_0}\) définie par \(\widehat{Y_0}=Ax_0+B\)
\(\mathbb{E}[\widehat{Y_0}]=\alpha x_0+\beta\) : \(\widehat{Y_0}\) est un estimateur sans biais de \(\mathbb{E}[Y_0] = \alpha x_0+\beta\)
De plus, si \(y_0\) était disponible, on lui associerait une v.a. \(Y_0\) définie par \[Y_0=\alpha x_0+\beta + E_0,\quad
E_0\overset{i.i.d}\sim{\cal N}(0,\sigma^2)\]
\(\widehat{y_0}\) est donc à la fois une estimation de \(\mathbb{E}[Y_0]\) et une prévision de \(y_0\)
Deux problématiques
1 : On ne prend pas en compte la variabilité de \(E_0\)
\(\widehat{y_0} = a x_0 +b\) est une estimation de \(\mathbb{E}[Y_0]\) :
Construire un intervalle de confiance pour le paramètre \(\mathbb{E}[Y_0]\). On s’interesse ici à la partie de la réponse expliquée par le modèle. (Seulement la partie du poids du poisson qui est expliquée par sa longueur)
En faisant varier \(x_0\), construire un intervalle de confiance de la droite de régression \(\alpha x+\beta\)
2 : On prend en compte la variabilité de \(E_0\)
\(\widehat{y_0}\) est une prévision de \(y_0\) :
Construire un intervalle de prédiction pour \(Y_0\).
On s’interesse ici à la totalité de la réponse. (On veut un intervalle sur le poids du poisson totale.)
Intervalle de confiance de \(\mathbb{E}[Y_0]\)
Théorème
\(\widehat{Y_0}=Ax_0+B\) est un estimateur sans biais de \(\mathbb{E}[Y_0]=\alpha x_0+ \beta\), de variance \[\mathbb{V}\left[\widehat{Y_0}\right]=\sigma^2\left(\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right).\]
L’estimateur de la variance \(\mathbb{V}\left[\widehat{Y_0}\right]\) est donnée par \[S_0^2=S^2\left(\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right)\]
De plus, \[
\frac{\left(\widehat{Y_0}-\mathbb{E}[Y_0]\right)}{S_0}\sim \mathcal{T}(n-2)
\]
Intervalle de confiance de \(\mathbb{E}[Y_0]\)
Théorème
Intervalle de confiance de \(\mathbb{E}[Y_0]\) au niveau de confiance \(1-\delta\)
\[
IC_{1-\delta}(\mathbb{E}[Y_0]) =
\left[\widehat{y_0}-t_{1-\frac{\delta}{2}}\ s_0;\right.
\left.\widehat{y_0}+t_{1-\frac{\delta}{2}}\ s_0\right],
\] où
\[\frac{(\widehat{Y_0}-Y_0)}{\sqrt{S^2\left(1+\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right)}}\sim\mathcal{T}(n-2)\]Intervalle de prédiction de\(Y_0\) de niveau \(1-\delta\) :
